Fagfellevurdering kan være umulig å reformere

Denyse O'Leary, 18. januar 2024. Oversatt herfra

Peer Review etterforskere Leslie D. McIntosh og Cynthia Hudson Vitale bidro med en artikkel nylig, til den omfangsrike litteraturen om hva som er galt med fagfellevurdering: "Målet med denne studien er å presentere et casestudie om hvordan fagfelle-vurderingsprosessen kan manipuleres av enkeltpersoner med ikke avslørte forbindelser til politisk splittende organisasjoner, "som betyr pro-liv:
"Denne casestudien analyserer ekspertisen, potensielle interessekonflikter og objektivitet for redaktører, forfattere og fagfellevurderere som er oppfylt i en spesielt journalutgave i 2022 om fruktbarhet, graviditet og mental helse. Data ble samlet inn om kvalifikasjoner, organisatoriske tilknytning og forhold mellom seks artiklers forfattere, tre gjestedaktører og tolv fagfelle-anmeldere. To artikler ble funnet å ha ikke avslørte interessekonflikter mellom forfattere, en redaktør og flere fagfellevurderere tilknyttet advokatvirksomhet mot abort og lobbygrupper, noe som indikerer kompromittert objektivitet. Denne mangelen på åpenhet undergraver fagfelle-vurderingsprosessen og muliggjør partisk forskning og desinformasjons spredning. Vår studie er begrenset av noen få faktorer, inkludert: vanskeligheter med å samle fagfellevurderingsdata, potensielle manglende tilknytninger og en liten prøve med ut sammenligninger. Selv om dette er en casestudie av en spesiell utgave, har vi forslag til å øke integriteten.
McIntosh, L.D., & Hudson Vitale, C. (2023). Ivareta vitenskapelig integritet: En casestudie for å undersøke manipulering i fagfellevurderingsprosessen -lenke. ACCOUNTABILITY IN RESEARCH, 1-19.

Bilde 1. Fagfellesskap -annet enn fag kan virke inn

De målrettet mot en spesielle Frontiers in Psychology utgave (Sammut, S., P. Yeung og D. Larrive, "Fertilitet, graviditet og mental helse - et atferdsmessig og biomedisinsk perspektiv") -lenke og muligheten førte til tilbaketrekning -lenke av en studie, Coleman, S. 2022, da forskningen deres viste flere forbindelser fra forfattere til pro-life-grupper, som de identifiserer som en "interessekonflikt":
"Analysen vår fant to av de tre gjestedaktørene, fem av de tolv (42%) fagfelle-vurdererne, og to av nitten forfattere (11%) er aktive i advokat-virksomhet og lobbyorganisasjoner som er i interessekonflikt: (1) Charlotte Lozier Institute (CLI), (2) American Association of Pro-Life Obstetricians and Gynecologists (Aalog), (3) Breast Cancer Prevention Institute (BCPI), (4) World Expert Consortium for abort Research and Education (WECare), (5 ) St Louis Guild fra den katolske medisinske foreningen."
McIntosh, L.D., & Hudson Vitale, C. Manipulering i fagfellevurderingsprosessen -lenke.
De konkluderer, "Når desinformasjon blir mer utbredt, er det avgjørende for å beskytte samfunnet mot dets skadelige effekter."

Bilde 2. Produksjonsgangen v. fagfelle-vurderte artikler

Var artikkelen eller spesialutgaven bra, dårlig eller likegyldig? Det betyr neppe noe. Vi vet alle implisitt at tungt engasjement i å gi abort i alle stadier av svangerskapet vil gjerne bidra til oppfatningen, blant mange abortrelaterte fagfelleanmeldere, at en tidsskriftforfatter var godt kvalifisert. Og involvering i å forhindre aborter ville forringe det. Dermed illustrerer McIntosh og Hudson Vital, ut fra deres egen iver, den innebygde korrupsjon av fagfellevurderingsprosessen. Leser Laszlo Bencze -lenke skriver for å si: "Interessant at advokatvirksomhet mot abort kan gi en interessekonflikt når man gjennomgår vitenskapelige artikler, men pro-abort ikke vil gi noen konflikt. årsaken til dette er at pro-abort er helt vitenskapelig, mens anti-abort tydelig er religiøs, og dermed anti-vitenskapelig. Interessant verden vi lever i."

Akademia snubler videre
I mellomtiden, fra Harvard av alle steder, lærer vi, "Totalt sett er det mye arbeid som gjøres for å forbedre fagfellevurderingssystemet. For eksempel legger tidsskrifter nå mer innsats i å trekke tilbake uriktige artikler, slik at artikler som glipper mellom hullene, blir tatt ned på en mer betimelig måte, og arbeide for å forhindre spredning av falsk informasjon."
Fyller ikke det oss med tillit, gitt Harvards egen nylige historie! Se for eksempel evolusjonsbiologen Carole Hooven, "Why I forlot Harvard"-lenke: "Etter jeg erklærte banale fakta om menneskelig biologi, fant jeg meg selv fanget i et DEI (Diversity, Equity & Inclusion) -nett, uten støtte til å gjøre jobben jeg elsket. Den eneste utveien var å dra ... "Harvard kommer til å ha litt av en jobb med å overbevise verden om at det fremdeles ser alvorlig på virkelighetsbasert tenking, uansett fagfellevurdering.

Bilde 3. Akademia bygger på person uten grader

Goodharts lov er en tøff motstander
Noe Discovery Institute Walter Bradley Center -direktør Robert J. Marks sa om fagfellevurdering i 2019 er verdt et nytt blikk: Reformatorer - forutsatt at de til og med er alvorlige - kjemper mot numeriske lover som styrer hvordan insentiver fungerer.
-Goodharts lov fanger for eksempel den utilsiktede effekten av å bruke numeriske beregninger som mål: "Når et tiltak blir et mål, slutter det å være et godt tiltak."
Den britiske økonomen Charles Goodharts lov gjelder langt utover sin spesialie. Som et generelt prinsipp, fokuserer det utelukkende på et målbart numerisk mål og distraherer fra å oppnå det bredere utfallet som metrikken prøver å spore. Spillerne fokuserer på tallene og prøver å spille på dem, noe som ofte fører til lureri og uærlighet. å krysse målstreken blir viktigere enn hvordan du kom dit.
En konsekvens av Goodharts lov er fristelsen til å jukse for å oppnå et mål. Dette kalles Campbells lov, etter en amerikansk samfunnsforsker, Donald T. Campbell: "Jo mer noen kvantitativ sosial indikator brukes til sosial beslutningstaking, jo mer vil den være emne for korrupsjonspress, og jo mer passende vil det være å forvrenge og forvanske de sosiale prosessene den er ment å overvåke."

Med andre ord skaper måling en fristelse til å oppnå et målbart mål med mindre enn helt ærlige midler. Som i fysikk forstyrrer den enkle handlingen med å måle forstyrrer det du prøver å måle.
- Robert J. Marks, "Why So Hard to Reform Peer Review," Mind Matters News, 18. juli 2019 -lenke.

Det er vanskelig å kjempe selv når vi prøver å være rettferdige, som noen sannsynligvis ikke er.

Denyse O'Leary -Bilde 4

Denyse O'Leary er frilansjournalist med base i Victoria, Canada. Hun spesialiserer seg på tro og vitenskapelige spørsmål, og er medforfatter, med nevrovitenskapsmann Mario Beauuring, av den åndelige hjernen: A Neuroscientist's Case for the Existence of the Soul; Og med nevrokirurg Michael Egnor av den kommende The Human Soul: What Neuroscience Shows Us about the Brain, the Mind, and the Difference Between the Two, (Worthy, 2025). Hun oppnådde sin grad i engelsk språk og litteratur.

Oversettelse, via google-oversetter, og bilder ved Asbjørn E. Lund